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极 / 眶 额 叶 、 右 侧 缘 上 回 、 左 侧 额 下 回 ， 其 中 右 侧 缘 上 回 
此 外 ， 右 侧 显 中 回 


、 匡 下 回 和 匡 极 在 情绪 外 显 任务 中 的 激活 明显 强 于 内 隐 任 务 。 本 砂 


果 部 分 支持 了 情绪 韵律 的 层次 模型 ,也 对 该 模型 的 第 三 层次 ， 即 “ 额 


究 的 结 


区 对 语音 情绪 信息 的 精 


细 加 工 需 要 外 显 性 情绪 加 工 任务 参与 ”提出 了 质疑 。 
关键 词 情绪 ， 语 音韵 律 ， 显 上 回 ， 眶 额 叶 ， 额 下 回 : 缘 上 加 
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准确 解码 情绪 信息 不 但 对 人 类 的 生存 至 关 重 要 , 而 且 还 能 帮助 我 们 在 社会 交往 中 感知 他 
人 的 情绪 状态 、 推 测 他 人 的 意图 。 在 日 常 交流 中 常见 的 传递 情绪 的 载体 包括 面孔 表情 、 身 体 
姿态 、 语 音 等 。 对 面孔 和 身体 姿势 情绪 信息 的 加 工 通过 视觉 通道 完成 ， 目 前 其 神经 机 制 已 经 


得 到 了 较 充 分 的 揭示 (参见 综述 Calvo & Nummenmaa, 2016; Enea & Iancu, 2016; Hinojosa, 
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Mercado, & Carretié, 2015)。 相 比 于 视觉 通 
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， 我 们 对 语音 


表 楚 (Liebenthal, Silbersweig, & Stern, 2016). 语音 的 情绪 信息 可 以 通过 语义 和 前 和 和 
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语义 和 语法 结构 ， 借 助 语音 中 的 音 高 、 音 长 、 音 强 、 重 音 和 语调 等 多 种 声学 线索 的 动态 变化 
来 表达 和 传递 情绪 的 方式 CBrük, Kreifelts, & Wildgruber, 2011). 语音 的 情绪 韵律 线索 不 但 帮 
助 我 们 理解 说 话 人 的 语义 和 情绪 状态 ， 当 情绪 韵律 与 语义 信息 冲突 时 , 我 们 通常 依赖 前 者 去 
E 测 说 话 人 的 意图 (Ben-David, Multani, Shakuf, Rudzicz, & van Lieshout, 2016)。 例 如 ， 当 某 
人 用 愤 径 的 情绪 韵律 说 “我 真 幸运 ”时 ， 我 们 会 认为 说 话 人 想 表 达 愤 翁 情 绪 。 因 此 ， 对 语音 
中 情绪 韵律 的 加 工 与 我 们 的 生活 和 社会 交往 密切 相关 〈Briik et al., 2011; Früholz, Trost, & 
Kotz, 2016)。 揭示 和 阅 明 情绪 韵律 加 工 的 神经 机 制 , 不 但 帮助 我 们 认识 大 脑 的 情绪 语音 加 工 
过 程 ， 也 有 利于 对 具有 社会 功能 障碍 的 患者 ( 自 闭 症 、 精 神 分 裂 症 、 抑 郁 症 等 ;进行 早期 诊 
断 和 康复 评估 (Knight & Baune, 2019; Lin, Ding, & Zhang, 2018)。 此 外 ， 揭 示 大 脑 对 情绪 韵 
律 的 解码 规则 是 人 工 合 成 情绪 性 语音 语调 的 基础 ， 这 将 极 大 促进 人 工 智 能 和 人 -机 交互 界面 
的 发 展 (Mitchell & Xu, 2015). 

早期 关于 情绪 韵律 加 工 的 神经 机 制 模型 (Ross, 1981) 认为， 情绪 韵律 完全 由 右 半 脑 完 
成 ， 其 中 右 侧 晒 上 皮层 Csuperior temporal cortex, STC?) 中 与 左 脑 Wernicke 区 对 应 的 部 位 负 
责 情绪 韵律 的 感知 和 理解 , 右 背 外 侧 前 额 叶 中 与 左 脑 Broca 区 对 应 的 部 位 负责 产生 情绪 性 语 
音韵 律 。 随 着 研究 的 深入 , 学 者 们 逐渐 发 现 大 脑 皮 层 的 其 他 部 分 和 皮下 结构 也 参与 了 情绪 韵 


律 的 加 工 ， 逐 渐 形 成 了 情绪 韵律 加 工 的 层次 模型 (hierarchical model) (Brük et al., 2011; 


Ethofer, et al. 2006; Schirmer & Kotz, 2006; Witteman, Van Heuven, & Schiller, 2012 ) 。 该 模型 认 
为 大 脑 对 情绪 韵律 的 加 工分 为 三 个 层次 : 1) 对 声音 敏感 的 STC 的 中 部 (mid-STC) 接收 初 
级 听觉 皮层 的 神经 信号 ， 负 责 提 取 语 音 中 的 声学 参数 ，2) 右 侧 STC 的 后 部 〈p-STC) 通过 
多 通道 整合 的 方式 识别 语音 中 的 情绪 信息 ; 3) 以 双 侧 额 上 回 (inferior frontal gyrus, IFG) 和 
青 绪 信息 进行 评估 和 精 
细 加 工 。 情 绪 韵 律 加 工 的 层次 横 型 认为 ， 听 觉 信息 从 初级 听 皮 层 传 至 mid-STC 的 过 程 为 自 
底 向 上 的 刺激 驱动 加 工 ， 而 在 p-STC 和 额 区 进行 的 语音 信息 整合 和 情绪 精细 加 工 需要 依赖 
于 注意 和 外 显 性 情绪 评估 CBrük et al., 2011)。 进 一 步 的 ，Friiholz 等 〈2016) 在 对 情绪 声音 
(包括 非 人 类 发 出 的 声音 、 人 类 的 非 言语 声音 、 韵 律 语音 、 音 乐 ) 的 加 工 脑 机 制 研 究 结果 进 
行 元 分 析 后 指出 ， 情 绪 声 音 加 工 依赖 于 广泛 分 布 的 神经 网 络 ， 其 核心 脑 区 包括 杏仁 核 


(Früholz, Hofstetter, Cristinzio, Saj, Seeck, & Vuilleumier, 2015)、 初级 和 次 级 听觉 皮层 、 右 侧 
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HEAL JE (orbitofrontal cortex, OFC) 为 代表 的 额 区 负责 对 语音 中 的 
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STC CFrüholz & Grandjean, 2013a). IFG CFrüholz & Grandjean, 2013b). OFC (Kotz, Kalberlah, 


2 STC HA EIE] (superior temporal gyrus, STG). #12] (middle temporal gyrus, MTG) H3 E75 (superior 
temporal sulcus, STS) 三 部 分 组 成 。 
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Bahlmann, Friederici, & Haynes, 2013). fi $ (Mothes-Lasch, Mentzel, Miltner, & Straube, 2011). 

我 们 认为 在 情绪 韵律 加 工 的 脑 机 制 方面 ， 目 前 有 三 个 问题 需要 解决 。 第 一 ， 不 同情 绪 种 
类 的 语音 韵律 的 大 脑 表征 。 己 知人 类 对 愤怒 、 厌 恶 、 恐 恨 、 快 乐 和 悲伤 等 基本 情绪 的 加 工 依 
赖 不 完全 重 共 的 脑 区 ， 即 大 脑 对 不 同 种 类 情绪 的 加 工具 有 相对 特异 性 (Lindquist，Wager, 
Kober, Bliss-Moreau, & Barrett, 2012) ， 但 这 一 结论 主要 是 依据 视觉 通道 的 研究 证 据 得 出 的 
(例如 面孔 表情 、 身 体 姿 势 、 情 绪 词 加 工 等 任务 )。 在 情绪 的 听觉 加 工 领域 ,特别 是 情绪 韵 
律 加 工 方面 , 目前 已 发 现 有 两 项 相关 研究 ， 他们 利用 机 器 学 习 算 法 , 采用 数据 驱动 的 方式 对 
被 试 在 收听 不 同 种 类 情绪 韵律 的 功能 性 核磁 共振 成 像 (functional magnetic resonance imaging, 
fMRI) 激活 模式 进行 分 类 CEthofer, Van De Ville, Scherer, & Vuilleumier, 2009a; Kotz et al., 


2013 )。 结 果 发 现 ， 对 多 分 类 《区 分 不 同 种 类 的 情绪 ) 有 贡献 的 脑 区 包括 : MEE Csuperior 
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temporal gyrus, STG). 3i 7^] (superior temporal sulcus, STS )、 显 中 回 (middle temporal gyrus, 


MTG)、IFG、 额 中 回 (middle frontal gyrus, MFG)、 前 脑 岛 。 这 两 项 研究 表明 ， 上 述 脑 区 对 
不 同 种 类 情绪 韵律 的 加 工具 有 一 定 的 区 分 度 〈( 即 特异 性 )。 男 外 Kotz 等 人 (2013) 还 对 比 了 
多 种 情绪 韵律 与 中 性 韵律 激活 的 脑 区 , 发 现 每 种 情绪 都 激活 了 不 同 的 脑 区 , 例如 ,愤怒 韵律 
比 中 性 韵律 更 强 地 激活 了 双 侧 MFG， 快 乐 韵律 比 中 性 韵律 更 强 地 激活 了 左 侧 IFIG。 然 而 ， 
除了 上 述 三 项 研究 , 目前 在 情绪 韵律 加 工 方面 已 有 的 研究 , 大 多 只 关注 了 某 一 种 情绪 韵律 与 
中 性 韵律 的 差异 性 大 脑 表 征 ， 很 少 考察 大 脑 对 不 同情 绪 种 类 韵律 的 特异 性 加 工 (Friiholz & 
Grandjean, 2013a)。 我 们 认为 ， 仅 比较 某 种 情绪 与 中 性 条 件 的 差异 性 脑 区 ， 并 不 能 获得 情绪 
韵律 加 工 的 “特异 性 ” 脑 区 。 本 研究 将 考察 愤怒 、 慌 惧 、 快 乐 这 三 类 辨识 度 较 高 (Liu & Pell, 
20120 且 具 有 代表 性 的 情绪 韵律 的 特异 性 加 工 脑 区 。 有 具体 的 ,我 们 将 对 三 种 情绪 韵律 条 件 ; 
行 两 两 比较 , 党 试 找寻 仅 参 与 单 种 情绪 韵律 加 工 的 脑 区 。 依据 相关 文献 (Friiholz & Grandjean, 
2013b)， 我 们 预期 在 IFG 等 额 区 可 能 发 现 能 区 分 三 种 情绪 韵律 的 特异 性 脑 区 。 

第 二 ,“ 情 绪 相关 ”任务 与 “情绪 无 关 ” 任 务 (task relevant/irrelevant) 激活 脑 区 的 异同 。 
虽然 已 有 一 些 研究 采用 外 显 和 内 隐 任 务 比较 了 两 种 条 件 下 情绪 韵律 加 工 参与 脑 区 的 差异 ,但 
目前 矛盾 的 结果 还 很 多 。 例 如， 有 研究 发 现 内 隐 任 务 激活 了 p-STG, 而 外 显 任务 反而 激活 了 
mid-STG (Friiholz, Ceravolo, & Grandjean, 2012) ， 这 与 前 文 所 述 的 层次 模型 的 预期 相反 。 
此 外 , 不 少 研究 发 现 杏 仁 核 、 脑 岛 等 情绪 脑 区 在 外 显 任务 中 的 激活 比 内 隐 任 务 更 强 CFrüholz 
et al., 2012) ; 而 另 一 些 研 究 则 同时 在 外 显 和 内 隐 任 务 中 观察 到 了 情绪 主 效 应 ， 即 愤怒 等 情 
绪 韵 律 比 中 性 韵律 在 这 些 脑 区 均 诱发 了 更 强 的 神经 活动 (Bach et al., 2008; Ethofer et al., 
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2009b; Quadfieg, Mohr, Mentzel, Miltner, & Straube, 2008) 。 更 重要 的 是 ， 已 有 研究 在 额 区 的 


发 现 也 不 一 致 :有 研究 报道 外 显 和 内 隐情 绪 任 务 均 会 激活 双 侧 或 单 侧 正 GCFriiholz et al., 2012; 


Steber, König, Stephan, & Rossi, 2020) ， 但 也 有 研究 观察 到 了 OFG (Ethofer et al., 2009b; 


Quadfieg et al., 2008) 和 IFG (Bach et al., 2008; Beaucousin et al., 2011) 等 脑 区 在 外 显 任务 中 
有 更 强 的 激活 。 我们 认为 , 现 有 的 矛盾 首先 可 能 是 由 于 任务 设置 的 不 合理 造成 的 。 上 述 研究 
几乎 均 采 用 “情绪 辨别 ”作为 外 显 任务 ，“ 性 别 辨别 ” 作 为 内 隐 任 务 。 相 比 于 情绪 辨别 ， 辨 
别 说 话 人 的 性 别 更 简单 ， 因 此 被 试 在 完成 性 别 辨别 任务 时 可 能 还 不 自主 的 进行 了 情绪 加 工 、 
语义 加 工 等 ， 从 而 在 结果 中 引入 了 混淆 变量 。 本 研究 将 “性 别 辨别 ”替换 为 “身份 辨别 ”， 
即 语音 材料 均 为 女性 声音 ， 被 试 的 任务 为 辨别 不 同 身份 的 女性 ， 加 大 了 内 隐 任 务 的 难度 ， 降 
低 了 被 试 进行 情绪 加 工 的 可 能 性 。 其 次 ， 已 有 研究 绝 大 多 数 采 用 词语 作为 刺激 材料 〈 例 如 


Bach et al., 2008; Ethofer et al., 2009b; Früholz et al., 2012; Quadfieg et al., 2008; Steber et al., 


20200 . 考虑 到 情绪 韵律 为 语音 的 长 时 程 特征 , Tf] PCI n] AY SE ALES FR] SES A B 
多 为 双 音 节 词 ) ， 我 们 认为 在 情绪 韵律 的 研究 中 应 该 采用 更 长 的 语音 单元 〈 例 如 句子 ) 作为 
实验 材料 。 此 外 ， 已 有 的 研究 有 的 使 用 有 语义 的 材料 CBeaucousin et al., 2011; Ethofer et al., 


(550—750 ms; 


2009b; Mitchell, 2007; Quadfieg et al., 2008) ， 有 的 使 用 无 语义 的 材料 (Bach et al., 2008; 


Früholz et al., 2012; Steber et al., 2020) ， 这 也 可 能 造成 对 实验 结果 的 干扰， 因此 在 本 研究 中 
我 们 使 用 了 无 语义 的 “ 伪 句 ”。 在 提高 了 内 隐 任 务 的 认 知 负 荷 、 延 长 了 情绪 韵律 材料 的 呈现 时 
间 、 排 除了 语义 加 工 的 干扰 后 , 本 研究 希望 能 更 准确 地 揭示 外 显 和 内 隐情 绪 韵 律 加 工 的 脑 机 
制 差 异 。 由 于 已 有 文献 存在 大 量 矛 盾 的 结果 ,我 们 对 此 问题 无 法 提出 具体 的 假设 (探索 性 问 


第 三 , 基于 无 噪声 脑 成 像 技术 的 实验 证 据 需 进一步 累积 。 己 有 的 绝 大 部 分 情绪 韵律 加 工 
脑 机 制 研究 使 用 了 fMRI 技术 (Friiholz et al., 2016). fMRI 是 目前 脑 影像 研究 中 的 主流 技术 ， 
能 对 全 脑 的 神经 活动 进行 较 准 确 的 空间 定位 。 但 fMRI 在 扫描 过 程 中 由 于 梯度 线圈 定位 等 环 


过 
节 会 产生 高 强度 的 噪声 , 这 对 情绪 韵律 加 工 等 需要 关注 各 种 声学 参数 细节 的 任务 会 造成 一 定 


的 影响 (Dieler, Tupak, & Fallgatter, 2012)。 因 此 我 们 建议 基于 声学 感知 通道 的 fMRI 研究 结 
果 最 好 能 通过 其 他 脑 成 像 技术 加 以 验证 。 功 能 近 红 外 光谱 成 像 技术 〈functional near-infrared 
spectroscopy, fNIRS) 具有 无 噪声 、 对 头 动 相对 不 敏感 等 特点 ， 很 适合 用 于 语音 加 工 研究 。 


本 研究 希望 利用 fNIRS 技术 得 到 与 已 有 的 fMRI 研究 较 一 致 的 情绪 韵律 加 工 脑 区 。 


2 方法 
2.1 被 试 
采用 G*Power3.1.7 软件 预 估 样 本 量 ， 参 考 已 有 类 似 文献 的 效应 量 (partial n? > 0.10) 


(Bach et al., 2008; Früholz et aL, 2012)， 计 算得 到 16 名 被 试 即 可 达到 0.95 的 统计 检验 力 


(power)。 同 时 ， 参 考 课题 组 前 一 项 研究 的 样本 量 (n = 22) (Zhang, Zhou, & Yuan, 2018), 
本 研究 招募 了 25 名 (其 中 13 名 女生 ) KER CEM: 204242.13y) 参与 实验 。 所 
有 被 试 均 听力 正常 、 右 利 手 。 被 试 排除 标准 : 1) 有 精神 病史 ; 2) AARE ERRA SE: 
3) 有 严重 躯体 疾病 ; 4) 酒精 或 药物 依赖 .实验 前 告知 被 试 实验 仪器 及 实验 内 容 的 相关 信息 ， 
被 试 签署 了 书面 知情 同意 书 ， 实 验 结束 后 支付 被 试 一 定 的 报酬 。 实 验方 案 经 深圳 大 学 伦理 委 
员 会 批准 。 
2. 2 实验 材料 和 实验 过 程 

情绪 韵律 材料 选 自 中 国语 音 情 绪 库 (Liu & Pell, 2012)。 该 库 的 情绪 韵律 语音 为 符合 汉 
语 语法 规则 但 无 意义 的 “ 伪 句 ” 每 个 句子 符合 主 、 谓 、 宾 结构 ， 但 主 谓 宾 成 分 均 采 用 无 意 
义 的 “ 伪 词 ” 从 而 消除 了 句 意 。 每 个 句子 时 长 约 1-2 s。 本 研究 选取 愤怒 、 恐 惧 、 快 乐 、 中 
性 韵律 的 材料 (每 种 情绪 条 件 含 30 个 伪 句 )。 每 种 情绪 分 别 由 5~9 个 句子 合成 10 s 整 的 语 
音 段 。 每 个 10 s 的 情绪 语音 片段 分 别 由 5~8 句 情 绪 语 音 ( 为 同 种 情绪 ) 和 1~4 句 中 性 语音 
《填充 刺激 ) 组 成 ， 伪 句 之 间 无 时 间 间 隔 。 用 120 个 伪 句 制作 愤怒 、 恐 惧 和 快乐 韵律 各 5 


= BEIO s 材料 ， 伪 名 不 重复 使 用 。 每 个 10 s 的 语音 片段 均 含 两 名 女性 发 声 的 句子 ， 两 个 身 从 
o 对 应 的 句子 数量 在 15 段 材料 间 不 等 


本 实验 为 3〈 情 绪 : XM. TUE. ANA) x2 CES: 外 显 、 内 隐 ) 被 试 内 设计 。 实 验 
中 语音 刺激 通过 两 个 音箱 播放 (EDIFIER-R26T， 中 国 东 莞 )， 音 响 置 于 距离 被 试 左右 耳 前 方 
约 50 cm 处 ， 语 音 材料 播放 声 强 为 60 至 70 dB， 平 均 背景 噪声 值 〈 无 语音 材料 呈现 时 ) 为 
30 dB。 

实验 分 为 两 个 任务 ， 任 务 间 的 顺序 在 被 试 之 间 进 行 平衡 。“ 情 绪 外 显 加 工 任 务 ” 要 求 被 
试 对 每 段 10 s 语音 内 包含 的 情绪 性 句子 和 中 性 句子 进行 计数 , 每 段 语 音 结束 后 按键 作答 :“ 情 
绪 性 句子 比 中 性 句子 的 数量 多 3 个 或 以 上 吗 ? " (BR "JEU. "8" BH 50%)。 该 任务 包 
TIR. Dos. DUR3 个 block, block 的 顺序 在 被 试 间 随 机 排列 。 每 个 block 包含 10 段 10s 
的 语音 《每 个 语音 材料 播放 两 遍 )， 语 音 材 料 以 随机 顺序 呈现 ， 每 两 段 语音 材料 间 的 静音 时 
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长 为 15 s 减 去 反应 时 。“ 情 绪 内 隐 加 工 任务 ”要 求 被 试 对 每 段 10 s 语音 中 的 两 名 女性 身份 发 
“两 名 女性 播放 的 句子 的 数量 相差 大 于 2 或 


音 的 句子 进行 计数 ， 每 段 语 音 播放 后 按键 作答 ; 


以 上 吗 ? " ER "EU. "18" BH 50%)。 该 任务 同样 包含 


3 个 block， 每 个 block 含 10 Et 


10s 的 语音 。 在 两 个 任务 中 ， 每 个 block 持续 约 4 min，block 间 被 试 自主 掌握 休息 时 间 (可 


选 范围 : 2~10 min)。 为 控制 语音 和 语义 等 无 关 变 量 


语音 材料 完全 相同 。 
2. 3 近 红 外 数据 记录 


引入 的 混淆 ， 两 个 任务 使 用 的 30 段 10s 


使 用 多 通道 fNIRS 系统 以 连续 波形 式 记录 大 脑 活动 (NirScan, HuiChuang, China)。 光 学 


探头 的 定位 采用 国际 10/20 系统 的 NIRS-EEG FAME (EASYCAP, Herrsching, Germany). 


根据 已 有 文献 , 本 研究 观测 的 脑 区 为 双 侧 额 叶 和 里 叶 。 我 们 使 用 了 13 个 发 射 器 和 15 个 探测 


器 组 成 了 37 个 有 效 观测 通道 (图 1)， 发 射 器 和 探测 器 之 间 的 平均 距离 为 3.2 cm 范围 为 


2.8-3.6 cm). 在 记录 过 程 中 没有 发 生 探测 器 信和 号 


过 饱和 的 


为 该 通道 探测 的 主要 脑 区 , 并 以 此 点 为 圆心 进行 每 个 通道 


m 


包 Chttp;//brain.job.affrc.go.jp/tools/) 计算 每 个 通道 


表 1。 


现象 。 我 们 定义 每 个 通道 的 中 间 点 
的 脑 区 标定 。 首 先 采 用 NFRI 工具 


的 MNI 坐标 ， 然 后 在 成 人 Brodmann 
Talairach fit (Lancaster et al., 2000) 查找 对 应 的 脑 区 。 各 通道 的 坐标 及 脑 区 标定 信息 见 


eux 
e 探测 器 


一 通道 


表 1 实验 中 37 个 NIRS 通道 的 空间 配 准 信息 


RATAR- MNI 坐标 
通道 Brodmann 分 区 及 脑 区 重合 度 ” 
探测 器 x y Z 
1 Fpl-Fpz -10 68 -5 10 - Frontopolar area (0.62) 
2 Fp1-AF3 -25 66 4 10 - Frontopolar area (1.00) 
10 - Frontopolar area (0.58) 
3 Fp1-AF7 -32 62 -8 . 
11 - Orbitofrontal area (0.42) 
4 AFz-Fpz 3 66 11 10 - Frontopolar area (1.00) 
2 AFz-AF3 -12 65 20 10 - Frontopolar area (1.00) 
6 AFz-AF4 16 65 20 10 - Frontopolar area (1.00) 
10 - Frontopolar area (0.46) 
7 F5-AF7 -46 48 0 . 
47 - Inferior prefrontal gyrus (0.34) 
8 F5-F7 -52 39 0 47 - Inferior prefrontal gyrus (0.62) 
9 F5-FC5 -56 27 16 45- pars triangularis, part of Broca's area (0.64) 
10 FT7-F7 -57 21 -13 38 - Temporopolar area (0.68) 
11 FT7-FC5 -61 8 2 22 - Superior temporal gyrus (0.61) 
12  FTT7-T7 -66 -7 -14 21 - Middle temporal gyrus (1.00) 
13 C5-FC5 -64 -2 24 6 - Pre-motor and supplementary motor cortex (0.67) 
14  C5-T7 -68 -17 8 42 - Primary and auditory association cortex (0.51) 
15 | C5-CP5 -66 -30 28 40- Supramarginal gyrus, part of Wernicke's area (0.73) 
16 TP7-T7 -69 -31 -9 21 - Middle temporal gyrus (1.00) 
17 TP7-CP5 -67 -44 Ill 22 - Superior temporal gyrus (0.92) 
E TENES kA Be A 21 - Mr temporal gyrus (0.58) 
37 - Fusiform gyrus (0.42) 
19 P5-CP5 -60 -56 28 40 - Supramarginal gyrus, part of Wernicke's area (0.58) 
20 P5-P7 -58 -68 13 39- Angular gyrus, part of Wernicke's area (0.42) 
21 . Fp2-Fpz 14 68 -5 10 - Frontopolar area (0.66) 
22  Fp2-AF4 28 66 4 10 - Frontopolar area (1.00) 
23 + Fp2-AF8 35 63 -8 10 - Frontopolar area (0.63) 
24 . F6-AF8 49 48 1 10 - Frontopolar area (0.45) 
25 . F6-F8 54 39 l 47 - Inferior prefrontal gyrus (0.56) 
26 | F6-FC6 58 | 25 16 45 - pars triangularis, part of Broca’s area (0.69) 
27 FT8-F8 59 21 -12 38- Temporopolar area (0.62) 
28  FT8-FC6 63 7 3 22 - Superior temporal gyrus (0.63) 
29 FT8-T8 67 -7 -12 21 - Middle temporal gyrus (1.00) 
30 | C6-FC6 66  -3 24 6- Pre-motor and supplementary motor cortex (0.66) 
31 C6-T8 70 -17 8 42 - Primary and auditory association cortex (0.50) 
32  C6-CP6 67 -30 28 40-Supramarginal gyrus, part of Wernicke's area (0.78) 
33  TP$8-T8 70 -30 -9 21 - Middle temporal gyrus (0.98) 
34 TP8-CP6 68 -43 1l 22 - Superior temporal gyrus (0.92) 


37 - Fusiform gyrus (0.54) 


35 TP8-P8 64 -54 -4 . 

21 - Middle temporal gyrus (0.46) 
36 P6-CP6 61 -56 28 40- Supramarginal gyrus, part of Wernicke's area (0.61) 
37 | P6-P8 57  -67 13 39 - Angular gyrus, part of Wernicke's area (0.54) 


* 部 分 近 红 外 观测 通道 可 能 覆盖 了 多 个 脑 区 ， 为 节省 论文 空间 ， 本 表 仅 列 出 重合 度 高 于 0.4 的 脑 区 。 


2. 4 近 红 外 数据 分 析 

采用 NirSpark 软件 (HuiChuang, China) 进行 数据 预 处 理 。1) 使 用 基于 小 波 的 运动 去 
伪 迹 方法 (Molavi & Dumont, 2012) 对 原始 光 密 度数 据 进行 运动 伪 迹 校正 ; 2) 使 用 0.01~0.20 
Hz 的 滤波 器 对 数据 进行 带 通 滤波 ;，3) 基于 修正 的 Beers-Lambert 定律 将 滤波 后 的 光 密 度数 
据 转 换 为 HbO 和 HbR 的 浓度 变化 数据 A[HbO] 和 A[HbR]。 在 本 研究 中 ，A[HbO] 比 A[HbR] 


信 噪 比 高 , 对 脑 血 流 的 变化 更 敏感 (Tong, Hocke, & Frederick, 2011; Zhang, Chen, Hou, & Wu, 

2019)， 故 后 续 统计 分 析 均 采用 A[HbO] 数 据 。 

使 用 一 般 线 性 模型 (general linear model, GLM) 解 算 不 同 条 件 下 任务 相关 的 B 值 , 将 B 
| 值 作为 衡量 相应 脑 区 激活 的 指标 。 采 用 block 设计 ， 以 每 段 语音 10 s 的 时 间作 为 block 的 长 

e BE, 以 此 为 时 间 线 索 与 HRF 进行 卷 积 。 统计 分 析 采 用 SPSS 20.0 软件 CIBM, Somers, USA). 

N 显著 性 水 平 设 定 为 0.05。 描 述 性 统计 量 报 告 为 均值 + 标准 差 。 对 每 个 通道 的 8B 值 进行 3〈 情 


绪 : 恐惧 、 愤 怒 、 高 兴 )x2( 任 务 : 外 显 、 内 隐 ) 的 重复 测量 方差 分 析 , 采用 Greenhouse-Geisser 


进行 球形 矫正 ， 采 用 Bonferroni 进行 事后 多 重 比较 矫正 。 最 后 ， 在 通道 间 采 用 FDR 方法 对 
p 值 进行 多 重 比较 矫正 ， 进 一 步 降 低 假 阳性 率 。 


3 结果 


反应 时 (628.35 土 151.11 ms) 和 正确 率 (91.4296 6.30%) 在 各 实验 条 件 间 无 显著 差异 


CF «€ DD. 
脑 激活 数据 分 析 结 果 如 下 。 首 先 ， 我 们 在 通道 3，9, 32 发 现 了 情绪 主 效应 ( 表 2， 图 2 
及 图 3A)。 事 后 多 重 比较 发 现 ， 左 侧 的 额 极 和 眶 额 皮 层 Cfrontopolar/orbitofrontal area; 即 额 


中 回 和 额 上 回 的 前 部 , 通道 3 ) 对 愤怒 语音 最 敏感 (F(2,48) = 12.51, p < 0.001, partial n? = 0.343; 


corrected p = 0.001; 愤怒 vs. 恐惧 p = 0.007; TUS vs. 快乐 p=0.001) 。 左 侧 的 额 下 回 三 角 


部 (pars triangularis; Broca 区 的 一 部 分 ; 通道 9) 对 快乐 语音 最 敏感 (F(2,48) = 24.26, p < 0.001, 


partial ņ? = 0.502; corrected p < 0.001; 快乐 vs. TZ% ps < 0.001) . AMAL 


加 | 


(supramarginal gyrus, SMG; 通道 32) 对 恐惧 语音 最 敏感 CF(2,48) = 12.53, p < 0.001, partial 


= 0.343; corrected p = 0.001; ZR vs. 愤怒 p = 0.001; ZR vs. 快乐 p= 0.003). 
其 次 ， 我 们 在 通道 27~29 发 现 了 任务 主 效应 R3, A2RA3B). feo RII — 
道内 ， 外 显 比 内 隐情 绪 加 工 任务 引起 了 更 强 的 皮层 活动 。 其 中 通道 27 对 应 于 显 极 


(temporopolar; F(1,24) = 11.63, p = 0.002, partial n? = 0.325; corrected p = 0.004)， 通 道 28 对 


应 于 里 上 回 〈STG; F(1,24) = 26.10, p < 0.001, partial n? = 0.521; corrected p < 0.001), iili 29 


SENE SUR (MTG; F(1,24) = 15.81, p = 0.001, partial n? = 0.397; corrected p = 0.003). 


最 后 ， 我 们 在 通道 32 发 现 了 任务 类 型 和 情绪 的 交互 作用 CF(2,48) = 14.24, p < 0.001, 


partial n? = 0.372; corrected p = 0.002; 图 2 及 图 3C)， 该 通道 对 应 于 右 侧 SMG。 人 简单 效应 分 


析 表 明 , 在 外 显 任务 中 , 右 侧 SMG 脑 区 对 恐惧 (8 f: 0.63 + 0.43) 比 对 愤怒 (0.06 + 0.44) 


和 快乐 韵律 (0.10 +0.34) 更 敏感 (F(2,23) = 102.27, p < 0.001, partial n? = 0.898)， 而 该 情绪 


效应 在 内 隐 任 务 中 不 显著 CF < 1; WRR P [E = 0.10 + 0.44 / 0.14 + 0.66 / 0.12 + 


0.55). 


2 情绪 主 效应 结果 
通道 脑 区 F p* 愤怒 B 值 WRBA 快乐 8 值 

3 L Frontopolar/orbitofrontal area 12.51 .001 0.21+0.20 0.12+0.23 0.06 x 0.20 

9 L pars triangularis/Broca’s area 24.24 «.001 0.1040.16 0.10+0.15 0.21 € 0.15 


32  RSupramarginal gyrus 12.48  .001 0.102: 0.56 0.36 £0.51 0.11 € 0.45 


*The p was corrected using FDR method across fNIRS channels. 


表 3 任务 主 效应 结果 


通道 脑 区 F p^ Vj Bet B 值 外 显 B 值 
27  R Temporopolar area 11.62 0.004 0.04 + 0.36 0.32 + 0.42 
28  RSuperior temporal gyrus 26.17 « 0.001 0.05 + 0.45 0.37 + 0.43 
29 AR Middle temporal gyrus 15.84 0.003 -0.03 + 0.49 0.34 + 0.53 


*The p was corrected using FDR method across fNIRS channels. 


0.8『 通道 3 —I-T. 0.8 [通道 9 0.8, 通道 32 = 
0.7 EH 外 显 情绪 0.7 0.7 
o 0.6 0.6 0.6 
2 0.5 ** 0.5 *** 0.5 
> 0.4 0.4 
B 0.3 pa c 0.3 
0.2 0.2 
0.1 0.1 
0 0 
愤怒 WR DUE 愤怒 WR DUE 愤怒 WE ”快乐 
0.7 r 通道 27 O7r3DH28 a O.7r 通道 29 yx 
0.6 ei k 0.6 炒米 一 一 ** 0 ** 
0.5 ** 0.5 0.5 = 
9 0.4 0.4 0.4 
S 03 0.3 0.3 
^ 02 0.2 0.2 
0.1 0.1 0.1 
0 0 0 
-0.1 -0.1 -0.1 
愤怒 了 恐惧 快乐 愤怒 恐惧 快乐 愤怒 恐惧 快乐 


2 不 同 脑 区 在 情绪 和 任务 条 件 中 的 激活 《〈 仅 显示 出 现 显著 效应 的 通道 )。 图 中 的 errorbar 
表示 均值 的 标准 误 。 


3 脑 区 激活 的 成 像 图 。 
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4 讨论 

本 研究 利用 fNIRS HOR, PRED Y PRI REST TERR ERI CREARE Be Rt 
经 活动 。 结 果 表 明 , 外 显 情绪 任务 比 内 隐 任 务 更 强 地 激活 了 右 侧 里 时 的 STG. MTG 和 里 极 ， 
说 明 右 侧 颗 叶 在 情绪 任务 相关 的 语音 韵律 感知 中 发 挥 了 重要 作用 。 我们 还 发 现 , 不 同 种 类 情 
绪 的 辨别 性 解码 依赖 于 额 区 的 IFG、OFC， 且 无 论 在 外 显 还 是 内 隐情 绪 任 务 中 这 些 脑 区 均 会 
激活 。 而 顶 叶 的 SMG Foi KALE JH EES PY HE I HB HER GER e 
情绪 主 效应 表明 , 大 脑 在 情绪 任务 相关 和 无 关 条 件 下 均 可 分 辨 不 同 种 类 的 情绪 韵律 。 相 
较 于 念 惧 和 快乐 韵律 ， 愤 怒 韵 律 更 强 的 激活 了 左 侧 的 额 极 和 OFC 脑 区 。 这 一 发 现 与 此 前 在 
情绪 韵律 辨别 任务 〈Kotz et al., 2013) 和 被 动 收 听任 务 (Zhang et al., 2018) 中 得 到 的 结果 非 
常 相似 。OFC 不 但 在 愤怒 情绪 的 加 工 中 具有 重要 作用 (Lindquist et al., 2012) ， 同 时 也 负责 
冲突 解决 和 抑制 不 恰当 的 行为 (例如 攻击 行为 )(Beyer, Münte, Góttlich, & Kramer, 2015) . 
OFC 损伤 的 病人 更 具有 攻击 倾向 ， 且 在 主观 情绪 状态 评估 、 人 情绪 信息 整合 、 情 绪 韵 律 辨识 
方面 存在 显著 缺陷 (Fox et al., 2018; Herpertz et al., 2017; Paulmann, Seifert, & Kotz, 2010) 。 
与 愤怒 韵律 对 应 OFC 的 结果 类 似 ， 我 们 还 发 现 左 侧 额 区 的 I 下 G 可 以 在 外 显 和 内 隐 任 务 条 件 
下 、 从 恐 慢 和 愤怒 韵律 中 特异 性 地 区 分 出 快乐 韵律 ， 这 一 结果 与 此 前 在 成 人 Zhang et al., 
2018) 和 新 生 儿 (Zhang et al., 2019) 情绪 韵律 被 动 收听 任务 中 的 发 现 相符 。 具 体 的 ， 我 们 


在 通道 9 发 现 的 这 一 结果 ， 其 脑 区 定位 于 FG 的 三 角 部 (pars triangularis) ， 此 区 域 在 语义 


理解 和 语义 -情绪 韵律 等 语言 信息 整合 中 具有 关键 作用 (Goucha & Friederici, 2015; Kirby & 


= Robinson, 2017; Schirmer & Kotz, 2006) 。 一 项 关注 讽刺 理解 的 研究 发 现 , 左 侧 IFG 在 语 境 、 
(S) 语义 和 韵律 整合 加 工 中 发 挥 了 重要 作用 , 当 出 现 赞扬 性 的 语义 和 负 性 情绪 的 韵律 时 ( 即 讽刺 )， 
该 脑 区 激活 增加 (Matsui et al., 2016) 。 在 另 一 项 听觉 情绪 和 社会 判断 的 研究 中 ， 左 侧 下 G 
被 认为 同时 参与 了 社会 特质 评估 (信任 度 评估 ) 和 说 话 者 快乐 程度 评估 (Hensel, Bzdok, 
Müller, Zilles, & Eickhoff, 2015) . Kotz 等 人 的 两 项 研究 发 现 ， 与 中 性 韵律 相 比 ， 快 乐 韵律 


激活 了 左 侧 IFG (Kotz et al., 2003; 2013) ， 而 Johnstone 等 人 的 研究 则 观察 到 快乐 韵律 使 右 


fill IFG 激活 增强 (Johnstone, Van Reekum, Oakes, & Davidson, 2006) . IFG 激活 的 左右 半球 
不 一 致 结果 可 能 是 实验 设置 或 情绪 材料 的 不 同 造 成 的 :在 Kotz 等 人 (2003; 2013 ) 的 实验 中 ， 
被 试 仅 加 工 语音 韵律 ， 而 在 Johnstone 5& A. (2006) 的 实验 中 ， 被 试 在 收听 语音 韵律 的 同时 
还 需 观 察 情绪 信息 一 致 或 不 一 致 的 面部 表情 。 本 研究 的 情绪 材料 与 Kotz 等 人 2003; 2013) 
的 研究 相似 ， 因 此 发 现 快乐 韵律 特异 性 的 激活 了 左 侧 正 G。 由 于 对 情绪 条 件 进行 了 两 两 对 比 
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分 析 ， 本 文 发 现 了 愤怒 和 快乐 情绪 韵律 对 应 的 “特异 性 脑 区 ”， 这 一 结果 在 之 前 那些 仅 对 比 
某 种 情绪 与 中 性 条 件 的 研究 中 是 未 曾 得 到 的 。 
根据 情绪 韵律 加 工 的 层次 模型 ， 在 情绪 韵律 加 工 的 第 三 层次 ，OFC、IFG 等 额 区 负责 对 
语音 的 情绪 信息 进行 精细 加 工 ， 这 一 层次 需要 依赖 于 注意 或 外 显 性 情绪 评估 CBrük et al., 
2011)。 而 本 文 在 OFC AI IFG 脑 区 的 发 现 与 此 结论 不 符 。 回溯 已 有 的 采用 外 显 和 内 隐情 绪 任 
务 考察 情绪 韵律 加 工 的 研究 发 现 ， 那 些 观察 到 OFC/IFG 在 外 显 任务 中 的 激活 强 于 内 隐 任 务 
的 研究 大 多 选用 了 有 语义 的 词 (Ethofer et al., 2009b; Quadfieg et al., 2008) 或 句子 (Beaucousin 
et al., 2011) 作为 实验 材料 ， 而 那些 观察 到 额 区 在 外 显 和 内 隐 任 务 中 均 有 明显 激活 的 研究 往 
往 选 用 了 不 具有 语义 的 情绪 韵律 材料 〈 例 如 Früholz et al., 2012; Steber et al., 2020) 。 因 此 我 
们 推断 语义 加 工 对 情绪 韵律 加 工 可 能 造成 了 干扰 或 影响 ,目前 我 们 发 现 的 唯一 的 一 项 例外 研 
JTJ Bach A (2008) , 他 们 虽然 在 实验 中 采用 伪 词 作为 语音 材料 , 但 仍然 观察 到 左 侧 TFG 
在 外 显 比 在 内 隐 条 件 下 的 激活 更 强 。 然 而 该 研究 选用 性 别 辨别 作为 内 隐 任 务 , 正如 引言 所 述 ， 
性 别 辨别 的 难度 远 小 于 情绪 辨别 (该 研究 中 ,正确 紊 和 反应 时 在 两 种 任务 中 存在 显著 差异 )， 
这 有 可 能 对 结果 造成 影响 ， 此 外 Bach 等 人 (2008) 仅 招募 了 16 名 被 试 进行 实验 ， 样 本 量 
稍 小 。 本 研究 使 用 “身份 辨别 ”作为 内 隐 任 务 ， 匹 配 了 内 隐 和 外 显 条 件 间 的 任务 难度 ,而且 
我 们 采用 无 语义 的 伪 句 作为 实验 材料 。 在 此 基础 上 我 们 发 现 ， 额 区 OFC/IFG 在 外 显 和 内 隐 
任务 中 均 可 区 分 不 同 种 类 的 情绪 韵律 , 因此 本 研究 能 比较 有 信心 地 对 层次 模型 第 三 层次 的 加 
工 理论 提出 质疑 。 

我 们 的 结果 还 表明 ， 右 侧 SMG 脑 区 对 慌 惧 韵律 有 相对 特异 性 的 加 工 ， 这 一 发 现 是 未 
预期 到 的 。SMG 是 参与 语言 感知 和 加 工 的 脑 区 之 一 , 该 脑 区 损伤 会 导致 感觉 性 失语 症 。SMG 


也 参与 身体 姿势 的 加 工 ， 被 认为 是 镜像 神经 元 系统 的 一 部 分 (Carlson, 2012) . Afi] SMG 


md 


更 是 与 语音 韵律 加 工 (Hartwigsen, Baumgaertner, Price, Koehnke, Ulmer, & Siebner, 2010) 和 


情绪 感知 相关 (Adolphs, R., Damasio, H., Tranel, D., Cooper, G., & Damasio, 2000; Aryani, Hsu, 


& Jacobs, 2018) . Köchel 等 人 认为 SMG 与 注意 、 警 觉 功 能 密切 相关 (Kochel, Schóngassner, 


& Schienle, 2013) 。 他 们 的 研究 采用 臣 惧 、 厌 恶 、 中 性 的 非 言语 声音 ， 发 现 当 被 试 加 工 恐 惧 
声音 时 《例如 改 惧 或 痛苦 引发 的 尖 叫 ) ， 右 侧 STG 和 双 侧 SMG 的 激活 显著 增加 。 此 外 ， 
Patel A (2018) RIL, 情绪 韵律 的 表达 功能 受 损 与 SMG 受 损 有 关 。 更 值得 关注 的 是 , SMG 
是 本 研究 中 观察 到 的 唯一 一 个 同时 受 情绪 和 任务 调控 的 脑 区 : 右 侧 SMG 仅 在 外 显 情绪 任务 
中 表现 出 对 丽 惧 韵律 的 特异 性 加 工 。 一 方面 , 在 此 前 的 成 人 情绪 韵律 被 动 收听 任务 中 (Zhang， 
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Zhou, & Yuan, 2018) 我 们 并 未 观察 到 右 侧 SMG 对 和 恐惧 韵律 的 敏感 性 , oct, BI] C DONT TR 
惧 情 绪 的 加 工 需 要 相当 程度 的 情绪 相关 任务 的 参与 。 另 一 方面 ， 右 侧 SMG XERHR PAE S 
异性 加 工 与 课题 组 此 前 在 新 生 儿 研究 中 的 发 现 一 致 〈《Zhang, Zhou, Hou, Cui, & Zhou, 2017; 
Zhang et al., 2019) ， 这 说 明 人 类 在 刚 出 生 时 其 大 脑 即 可 对 芍 慢 情绪 韵律 进行 快速 反应 ， 此 
过 程 与 是 否 有 情绪 任务 参与 无 关 。 结 合 我 们 在 成 人 和 新 生 儿 实验 中 对 恐 慢 情 绪 韵 律 的 发 现 ， 
我 们 认为 这 可 能 反映 了 人 类 在 进化 过 程 中 发 展 出 的 对 恐 惯 情绪 的 先天 性 加 工 偏向 , 即 出 生 时 
] 以 自动 地 对 恐惧 情绪 产生 敏感 的 脑 反 应 ,而 随 着 年 龄 的 增长 ,对 恐惧 韵律 的 加 工 Cf HERR 
惧 面 孔 的 加 工 ) 则 需要 主动 的 外 显 情绪 任务 参与 。 

本 研究 的 任务 主 效应 的 表明 ， 相 较 于 内 隐 任 务 ， 右 侧 MTG. STG. SHUR ETRE SD ELE 


务 下 激活 显著 增强 , 这 一 结果 与 情绪 韵律 加 工 的 层次 模型 (Bach et al., 2008; Brük et al., 2011; 


z| 


mad 


Ethofer, T. et al. 2006; Schirmer & Kotz, 2006; Witteman et al., 2012) 完全 吻合 ， 也 符合 情绪 语 


音韵 律 加 工 的 右 侧 化 理论 〈 见 综述 Belyk & Brown, 2014). AM] STC 是 “情绪 语音 脑 区 ” 


Cemotional voice area; Ethofer et al., 2012; Liebenthal et al., 2016) 的 最 主要 结构 , 是 情绪 性 语 
音 解码 的 关键 脑 区 〈 见 综述 Früholz & Grandjean, 2013a)。STC 的 低级 结构 (初级 听觉 皮层 
和 mid-STC) 负责 解析 情绪 声音 〈 包 括 语音 、 人 类 非 语音 、 自 然 界 声音 ) 的 听觉 特征 ， 而 
STC 的 高 级 结构 将 这 些 解 析出 的 音频 特征 整合 并 构建 出 对 ; 


2016; Schirmer & Kotz, 2006)。 已 有 研究 表明 STC 对 情绪 性 语音 比 对 中 性 语音 有 更 强 的 激活 


eS. 


青 绪 语音 的 感知 CFrüholz et al., 


(Bach et al., 2008; Brück et al., 2011; Ethofer et al., 2009b; Früholz et al., 2012; Kotz et al., 


2003; Mothes-Lasch et al., 2011; Witteman et al., 2012) 。 本 研究 发 现 ，STC 对 情绪 韵律 的 外 
显 性 加 工 有 明显 的 右 侧 化 优势 ， 与 已 有 文献 一 致 (Friiholz et al., 2016; Kotz et al., 2013) ， 也 


说 明 右 脑 对 语音 中 的 慢 变 信号 和 超 音 段 特征 敏感 (Witteman et al., 2012) 。 考 虑 到 右 侧 STG 


是 经 典 的 音 高 (pitch) 加 工 脑 区 (Patterson, Uppenkamp, Johnsrude, & Griffiths, 2002) ， 本 
文 观 察 到 的 外 显 情绪 任务 效应 也 可 能 反应 了 右 侧 STG 在 情绪 辨别 任务 中 对 音 高 进行 主动 地 
辨别 加 工 ( 愤 翁 、 疏 以 、 快 乐 韵 律 的 音 高 均 高 于 中 性 韵律 ; 音频 材料 信息 见 Liu & Pell, 2012). 

本 研究 发 现 的 情绪 赣 律 外 显 性 加 工 的 晒 区 右 侧 化 优势 可 帮助 临床 对 脑 疾 病 进行 诊断 , 例如 判 
断 症 痫 的 病灶 、 评 估 癫 病 及 大 脑 器 质 性 病变 之 后 的 脑 功 能 可 塑性 (Alba-Ferrara, Kochen, & 


Hausmann, 2018). 
Se LB. AAAI, ZB. PORE UE 


右 侧 SMG 和 左 侧 IFG。 我 们 还 发 现 右 侧 STC (包含 MTG. STG 等 ) 以 及 右 侧 SMG 在 外 


x 分 别 位 于 左 侧 OFC. 


B 
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显 性 情绪 韵律 任务 中 的 重要 作用 。 本 研究 的 结果 部 分 支持 了 情绪 韵律 加 工 的 层次 模型 ， 也 对 
该 模型 的 第 三 层次 ， 即 “ 额 区 对 语音 情绪 信息 的 精细 加 工 需 要 外 显 性 情绪 任务 参与 ”提出 了 
质疑 。 此 外 ， 由 于 fNIRS 技术 本 身 的 局 限 性 ， 本 研究 无 法 探测 到 大 脑 较 深部 的 、 与 情绪 韵 
律 加 工 密 切 相关 的 脑 区 《例如 颗 上 沟 和 杏仁 核 ) 。 我 们 建议 本 领域 的 探索 除了 依赖 fMRI 
fINIRS、 脑 磁 图 等 多 种 影像 技术 ， 还 需 结合 脑 损 伤 研究 、 经 颅 磁 刺 激 技术 《特别 是 最 新 发 展 
起 来 的 深部 经 颅 磁 刺 激 〉 等 进一步 展开 。 


Th 


T 


参考 文献 


Adolphs, R., Damasio, H., Tranel, D., Cooper, G., & Damasio, A. R. (2000). A role for somatosensory cortices in the visual recognition of 
emotion as revealed by three-dimensional lesion mapping. The Journal of Neuroscience, 20(7), 2683—2690. 

Alba-Ferrara, L., Kochen, S., & Hausmann, M. (2018). Emotional prosody processing in epilepsy: Some insights on brain reorganization. 
Frontiers in Human Neuroscience, 12, 92. 

Aryani, A., Hsu, C. T., & Jacobs, A. M. (2018). The sound of words evokes affective brain responses. Brain Sciences, 8(6), 94. 

Bach, D. R., Grandjean, D., Sander, D., Herdener, M., Strik, W. K., & Seifritz, E. (2008). The effect of appraisal level on processing of 
emotional prosody in meaningless speech. Neuroimage, 42(2), 919—927. 
Beaucousin, V., Zago, L., Herve, P. Y., Strelnikov, K., Crivello, F., Mazoyer, B., & Tzourio-Mazoyer, N. (2011). Sex-dependent 
modulation of activity in the neural networks engaged during emotional speech comprehension. Brain Research, 1390, 108-117. 
Ben-David, B. M., Multani, N., Shakuf, V., Rudzicz, F., & van Lieshout, P. H. (2016). Prosody and semantics are separate but not 
separable channels in the perception of emotional speech: test for rating of emotions in speech. Journal of Speech Language and 
Hearing Research, 59(1), 72-89. 

Beyer, F., Munte, T. F., Gottlich, M., & Kramer, U. M. (2014). Orbitofrontal cortex reactivity to angry facial expression in a social 
interaction correlates with aggressive behavior. Cerebral Cortex, 25(9), 3057-3063. 

Belyk, M., & Brown, S. (2014). Perception of affective and linguistic prosody: An ALE meta-analysis of neuroimaging studies. Social 
Cognitive and Affective Neuroscience, 9, 1395-1403. 

Brük, C., Kreifelts, B., & Wildgruber, D. (2011). Emotional voices in context: A neurobiological model of multimodal affective 
information processing. Physics of Life Reviews, 8, 383—403. 

Calvo, M. G., & Nummenmaa, L. (2016). Perceptual and affective mechanisms in facial expression recognition: An integrative review. 
Cognition and Emotion, 30, 1081—1106. 

Dieler, A. C., Tupak, S. V., & Fallgatter, A. J. (2012). Functional near-infrared spectroscopy for the assessment of speech related tasks. 
Brain and Language, 121(2), 90-109. 

Enea, V., & Iancu, S. (2016). Processing emotional body expressions: state-of-the-art. Social Neuroscience, 11(5), 495—506. 

Ethofer, T., Bretscher, J., Gschwind, M., Kreifelts, B., Wildgruber, D., & Vuilleumier, P. (2012). Emotional voice areas: Anatomic 
location, functional properties, and structural connections revealed by combined f MRI/DTI. Cerebral Cortex, 22, 191—200. 

Ethofer, T., et al. (2006). Cerebral pathways in processing of affective prosody: a dynamic causal modeling study. Neuroimage, 30, 
580—587. 

Ethofer, T., Van De Ville, D., Scherer, K., & Vuilleumier, P. (20092). Decoding of emotional information in voice-sensitive cortices. 
Current Biology, 19(12), 1028-1033. 

Ethofer, T., Kreifelts, B., Wiethoff, S., Wolf, J., Grodd, W., Vuilleumier, P., & Wildgruber, D. (2009b). Differential influences of emotion, 
task, and novelty on brain regions underlying the processing of speech melody. Journal of Cognitive Neuroscience, 21, 1255-1268. 


Fox, K. C. R., Yih, J., Raccah, O., Pendekanti, S. L., Limbach, L. E., Maydan, D. D., & Parvizi, J. (2018). Changes in subjective 


14 


experience elicited by direct stimulation of the human orbitofrontal cortex. Neurology, 91(16), e1519—e1527. 

Früholz, S., Trost, W., & Kotz, S. A. (2016). The sound of emotions - Towards a unifying neural network perspective of affective sound 
processing. Neuroscience and Biobehavioral Reviews, 68, 96—110. 

Früholz, S., & Grandjean, D. (2013a). Multiple subregions in superior temporal cortex are differentially sensitive to vocal expressions: a 
quantitative meta-analysis. Neuroscience and Biobehavioral Reviews, 37, 24—35. 

Früholz, S., & Grandjean, D. (2013b). Processing of emotional vocalizations in bilateral inferior frontal cortex. Neuroscience and 
Biobehavioral Reviews, 37(10), 2847—2855. 

Früholz, S., Hofstetter, C., Cristinzio, C., Saj, A., Seeck, M., & Vuilleumier, P. (2015). Asymmetrical effects of unilateral right or left 
amygdala damage on auditory cortical processing of vocal emotions. Proceedings of the National Academy of Sciences of the United 
States of America, 112(5), 1583-1588. 

Früholz, S., Ceravolo, L., & Grandjean, D. (2012). Specific brain networks during explicit and implicit decoding of emotional prosody. 
Cerebral Cortex, 22, 1107-1117. 

Goucha, T., & Friederici, A. D. (2015). The language skeleton after dissecting meaning: A functional segregation within Broca's Area. 
Neuroimage, 114, 294—302. 

Hartwigsen, G., Baumgaertner, A., Price, C. J., Koehnke, M., Ulmer, S., & Siebner, H. R. (2010). Phonological decisions require both the 
left and right supramarginal gyri. Proceedings of the National Academy of Sciences of the United States of America, 107(38), 
16494-16499. 

Hensel, L., Bzdok, D., Müller, V. I., Zilles, K., & Eickhoff, S. B. (2015). Neural correlates of explicit social judgments on vocal stimuli. 
Cerebral Cortex, 25(5), 1152—1162. 

Herpertz, S. C., Nagy, K., Ueltzhöffer, K., Schmitt, R., Mancke, F., Schmahl, C., & Bertsch, K. (2017). Brain mechanisms underlying 
reactive aggression in borderline personality disorder-sex matters. Biological Psychiatry, 82(4), 257—266. 

Hinojosa, J. A., Mercado, F., & Carretié, L. (2015). N170 sensitivity to facial expression: A meta-analysis. Neuroscience and 
Biobehavioral Reviews, 55, 498—509. 

Johnstone, T., Van Reekum, C. M., Oakes, T. R., & Davidson, R. J. (2006). The voice of emotion: an FMRI study of neural responses to 
angry and happy vocal expressions. Social Cognitive and Affective Neuroscience, 1(3), 242—249. 

Kirby, L. A. J., & Robinson, J. L. (2017). Affective mapping: An activation likelihood estimation (ALE) meta-analysis. Brain and 
Cognition, 118, 137—148. 

Knight, M. J., & Baune, B. T. (2019). Social cognitive abilities predict psychosocial dysfunction in major depressive disorder. Depression 
and Anxiety, 36(1), 54—62. 

Kotz, S. A., Kalberlah, C., Bahlmann, J., Friederici, A. D., & Haynes, J. D. (2013). Predicting vocal emotion expressions from the human 
brain. Human Brain Mapping, 34, 1971—1981. 

Kotz, S. A., et al. (2003). On the lateralization of emotional prosody: an event-related functional MR investigation. Brain and Language, 
86, 366—376. 

Kóchel, A., Schóngassner, F., & Schienle, A. (2013). Cortical activation during auditory elicitation of fear and disgust: a near-infrared 
spectroscopy (NIRS) study. Neuroscience Letters, 9(549), 197—200. 

Lancaster, J. L., Woldorff, M. G., Parsons, L. M., Liotti, M., Freitas, C. S., Rainey, L., ... Fox, P. (2000). Automated Talairach atlas labels 
for functional brain mapping. Human Brain Mapping, 10(3), 120—131. 

Liebenthal, E., Silbersweig, D. A., & Stern, E. (2016). The Language, Tone and prosody of emotions: neural substrates and dynamics of 
spoken-word emotion perception. Frontiers in Aging Neuroscience, 10, 506. 

Lin, Y., Ding, H., & Zhang, Y. (2018). Emotional prosody processing in schizophrenic patients: A selective review and meta-analysis. 
Journal of Clinical Medicine, 7(10), 363. 

Liu, P., & Pell, M. D. (2012). Recognizing vocal emotions in Mandarin Chinese: a validated database of Chinese vocal emotional stimuli. 
Behavior Research Methods, 44, 1042-1051. 


Lindquist, K. A., Wager, T. D., Kober, H., Bliss-Moreau, E., & Barrett, L. F. (2012). The brain basis of emotion: a meta-analytic review. 


15 


Behavioral and Brain Sciences, 35, 121—143. 

Matsui, T., Nakamura, T., Utsumi, A., Sasaki, A. T., Koike, T., Yoshida, Y., & Harada, T., et al. (2016). The role of prosody and context in 
sarcasm comprehension: Behavioral and fMRI evidence. Neuropsychologia, 87, 74—84. 

Mitchell, R. L., & Xu, Y. (2015). What is the value of embedding artificial emotional prosody in human-computer interactions? 
Implications for theory and design in psychological science. Frontiers in Psychology, 6, 1750. 

Mitchell, R. L. (2007). fMRI delineation of working memory for emotional prosody in the brain: commonalities with the lexico-semantic 
emotion network. Neuroimage, 36(3), 1015-1025. 

Mothes-Lasch, M., Mentzel, H. J., Miltner, W. H. R., & Straube, T. (2011). Visual attention modulates brain activation to angry voices. 
Journal of Neuroscience, 31, 9594-9598. 

Ross, E. D. (1981). The aprosodias. Functional-anatomic organization of the affective components of language in the right hemisphere. 
Archives of Neurology, 38(9), 561—569. 

Patel, S., Oishi, K., Wright, A., Sutherland-Foggio, H., Saxena, S., Sheppard, S. M., & Hillis, A. E. (2018). Right hemisphere regions 
critical for expression of emotion through prosody. Frontiers in neurology, 9, 224. 

Patterson, R. D., Uppenkamp, S., Johnsrude, I. S., & Griffiths, T. D. (2002). The processing of temporal pitch and melody information in 
auditory cortex. Neuron, 36, 767—776. 

Paulmann, S., Seifert, S., & Kotz, S. A. (2010). Orbito-frontal lesions cause impairment during late but not early emotional prosodic 
processing. Social Neuroscience, 5(1), 59—75. 

Quadfieg, S., Mohr, A., Mentzel, H. J., Miltner, W. H., & Straube, T. (2008). Modulation of the neural network involved in the processing 
of anger prosody: the role of task-relevance and social phobia. Biological Psychology, 78, 129—137. 

Schirmer, A., & Kotz, S. A. (2006). Beyond the right hemisphere: brain mechanisms mediating vocal emotional processing. Trends in 
Cognitive Sciences, 10, 24—30. 

Steber, S., Kónig, N., Stephan, F., & Rossi, S. (2020). Uncovering electrophysiological and vascular signatures of implicit emotional 
prosody. Scientific Reports, 10(1), 5807. 

Tong, Y., Hocke, L. M., & Frederick, B. deB., (2011). Isolating the sources of widespread physiological fluctuations in functional 
near-infrared spectroscopy signals. Journal of Biomedical Optics, 16(10), 106005. 

Witteman, J., Van Heuven, V. J., & Schiller, N. O. (2012). Hearing feelings: a quantitative meta-analysis on the neuroimaging literature of 
emotional prosody perception. Neuropsychologia, 50, 2752-2763. 

Zhang, D., Chen, Y., Hou, X., & Wu, Y. J. (2019). Near-infrared spectroscopy reveals neural perception of vocal emotions in human 
neonates. Human Brain Mapping, 40(8), 2434—2448. 

Zhang, D., Zhou, Y., Hou, X., Cui, Y., & Zhou, C. (2017). Discrimination of emotional prosodies in human neonates: A pilot fNIRS study. 
Neuroscience Letters, 658, 62—66. 

Zhang, D., Zhou, Y., & Yuan, J. (2018). Speech prosodies of different emotional categories activate different brain regions in adult cortex: 


an fNIRS study. Scientific Reports, 8(1), 218. 


16 


The brain mechanism of explicit and implicit processing of emotional 


prosodies: An fNIRS study 


LEI Zhen!; BI Rong?; MO Licheng?; YU Wenwen?; ZHANG Dandan'? 


! China Center for Behavioral Economics and Finance & School of Economics, Southwestern University of Finance and Economics, 


Chengdu 611130, China, ? College of Psychology, Shenzhen University, Shenzhen 518060, China 


Abstract Emotional expressions of others embedded in speech prosodies are important for social 
interactions. Affective prosody refers to a way to express and convey emotions through the 
dynamic changes of various acoustic cues such as pitch, intensity, stress, and intonation in speech, 
without relying on vocabulary and grammatical structure. Previous studies have shown that STC, 
IFG, OFC, and other cerebral cortex and subcortical structures are involved in emotional prosody 
processing, and gradually formed a hierarchical model. However, existing studies on the neural 
mechanism of emotional prosody processing mostly focus on the difference between non-neutral 
emotional prosody and neutral prosody, while the comparison between various non-neutral 
emotional prosody is less investigated. Besides, the differences involved in brain regions of 
emotional prosody processing under explicit and implicit tasks are still not clear. Furthermore, it is 
necessary to further accumulate experimental evidence based on noise-free brain imaging 
technology, such as the noise-free features of fNIRS are especially suitable for speech processing 
research. 

This study used functional near-infrared spectroscopy to investigate how speech prosodies of 
different emotional categories are processed in the cortex under different task conditions. A group 
of 25 college students participated in this study with a 3 (emotion: anger vs. fearful vs. happy) by 
2 (task focus: explicit vs. implicit) within-participant factorial design. We manipulated task focus 
by adopting two different tasks, with emotional discrimination task as explicit condition and sex 
discrimination task as implicit condition. Ten phonological materials for each of anger, fearful, 
and happy prosody were selected from the Chinese Speech Emotion Database and consisted of the 
corresponding emotional prosodies and neutral prosodies. The emotional explicit task was to 
count the emotional and neutral sentences contained in each 10-second speech, and the emotional 
implicit task was to count the sentences played by two women in each 10-second speech. A 
multi-channel fNIRS system was used to record brain activity in a continuous waveform. 
According to existing literature, the brain regions observed in this study are the bilateral frontal 
and temporal lobes. Therefore, we used 13 emitters and 15 detectors to form 37 effective 
observation channels. 

We first adopted NirSpark-2442 software to preprocess the data, and then conducted general 
linear model analyses to calculate the cortical activation related to the task. The results showed 
that the brain activation was significantly higher when anger was contrasted to fearful and happy 
prosody in left frontal pole / orbitofrontal cortex, and when happy was contrasted to fearful and 
anger prosody in left inferior frontal gyrus, and when fearful was contrasted to anger and happy 
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prosody in right supramarginal gyrus. Importantly, there was an interaction between emotion and 
task. In the explicit task, cortex activity in the right supramarginal gyrus was more sensitive to 
fearful than to anger and happy prosodies. But no similar results were found under anger and 
happy prosody. In addition, the brain activation in temporopolar, superior temporal gyrus, and 
middle temporal gyrus with the explicit task was greater than that in the implicit task. 

The present study demonstrated the specific brain regions for processing angry, fearful and 
happy prosody were left frontal pole / orbitofrontal cortex, right supramarginal gyrus, and left 
inferior frontal gyrus respectively, and the important role of right superior temporal gyrus and 
right supramarginal gyrus in emotional explicit task. These findings partially support the 
hierarchical model of emotional prosody and question the third level of the model. 


Key words emotion; phonetic prosody; superior temporal gyrus; orbitofrontal cortex; inferior 
frontal gyrus; supramarginal gyrus 
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